On-Policy Delta Distillation for Multilingual Math Reasoning
面向多语言数学推理的在线策略增量蒸馏
🧭 LLM 后训练 · 多语言蒸馏
NAVER AI Lab
提出 On-Policy Delta Distillation (OPD^2)，用教师模型与基模型的概率差作为学习信号，在多语言数学推理上优于 OPD
📌 工作参考价值（4 点）
- Delta 信号可引入推荐 Agent 训练：电商搜索/推荐中，若已有强监督教师模型（如大模型生成的推理路径），可直接使用 OPD^2 的 delta 蒸馏技巧（教师 vs 基模型概率差）替代传统 RL，训练轻量 Agent，提升token级反馈效率。
- 多语言场景可用单语数据提升跨语言性能：实验表明英语蒸馏可泛化到韩语/日语，但需防语言漂移。类似地，若以英语搜索日志训练问答Agent，需混合目标语言数据保持语言一致性。
- 在线采样+教师反馈框架适合动态数据流：推荐系统常面临分布漂移，OPD 的在线策略生成思想可迁移至用户反馈动态更新下的模型滚动训练，用当前模型生成样本再让教师打分，提升样本利用率。
- 概率差作为学习信号可借鉴至对比学习：电商搜索中，正负样本概率差可类似 OPD^2 构造细粒度标签，训练学生模型区分优劣结果，尤其适合 beam search 中的候选排序。